Vào cuối những năm 1930, Yayoi tham gia các hoạt động trong cuộc Chiến tranh Trung-Nhật và trong việc xâm chiếm Đông Dương vào năm 1940.

Vào lúc xảy ra cuộc tấn công Trân Châu Cảng, Yayoi nằm trong thành phần Đội khu trục 30 của Hải đội Khu trục 6 trực thuộc Hạm đội 4 Hải quân Đế quốc Nhật Bản, và được bố trí từ Truk trong thành phần của lực lượng tấn công đảo Wake.

Sáng sớm ngày 11 tháng 12 năm 1941, trong cuộc đụng độ mà sau này được đặt tên là Trận chiến đảo Wake, lực lượng Mỹ trú đóng trên đảo đã đẩy lui nỗ lực đổ bộ đầu tiên của lực lượng Nhật Bản, vốn được bảo vệ bởi các tàu tuần dương hạng nhẹ Yūbari, Tenryū và Tatsuta cùng Hải đội Khu trục 29 bao gồm các tàu khu trục Yayoi, Mutsuki, Kisaragi, Hayate, Oite và Asanagi; hai tàu khu trục cũ thuộc lớp Momi được cải biến thành các tàu tuần tra Số 32 và Số 33, và hai tàu vận chuyển binh lính chở theo 450 người thuộc Lực lượng Đổ bộ Hải quân Đặc biệt.

Lực lượng Thủy quân Lục chiến phòng thủ đã khai hỏa vào hạm đội đổ bộ bằng sáu khẩu pháo phòng thủ duyên hải 127 mm (5 inch) vốn được lấy từ các thiết giáp hạm cũ bị tháo dỡ, và đã đánh chìm Hayate. Yayoi bị một phát đạn pháo bắn trúng, làm một người thiệt mạng và 17 người khác bị thương; tàu tuần dương Yubari cũng bị bắn trúng 11 lần.[6] Yayoi quay trở lại vào ngày 23 tháng 12 trong đợt tấn công đổ bộ lên đảo Wake lần thứ hai, và đã thành công trong việc chiếm đóng đảo này.[7]

Vào đầu năm 1942, Yayoi hộ tống một đoàn tàu vận tải chuyển binh lính từ Kwajalein đến Truk, rồi sau đó tham gia cuộc chiếm đóng quần đảo Solomon, hỗ trợ cho các cuộc đổ bộ lực lượng Nhật Bản lên Rabaul, Gasmata (New Britain), New Ireland, Lae và Bougainville. Trong Trận chiến biển Coral vào các ngày 7-8 tháng 5 năm 1942, Yayoi được phân về lực lượng đổ bộ trong Chiến dịch Mo nhằm tấn công cảng Moresby. Sau khi chiến dịch này bị hủy bỏ, nó quay về Nhật Bản vào tháng 7 để được tái trang bị tại Xưởng hải quân Sasebo.[8]

Sau khi việc sửa chữa hoàn tất vào giữa tháng 7, Yayoi được phân về Hạm đội 8 Hải quân Đế quốc Nhật Bản và tham gia cuộc bắn phá sân bay Henderson trên đảo Guadalcanal vào ngày 24 tháng 8 năm 1942.[9] Trong Trận chiến Đông Solomon vào ngày 25 tháng 8 năm 1942, Yayoi đã vớt những người còn sống sót từ chiếc tàu chị em Mutsuki đã bị máy bay ném bom B-17 Flying Fortress của Không lực Mỹ đánh chìm.[10]

Vào cuối tháng 8 năm 1942, Yayoi thực hiện một số chuyến "Tốc hành Tokyo" vận chuyển binh lính đến Milne, New Guinea. Từ đầu tháng 9, nó bắt đầu tham gia vào việc triệt thoái lực lượng Nhật Bản khỏi Guadalcanal. Vào ngày 11 tháng 9 năm 1942, sau khi khởi hành từ Rabaul cho một nhiệm vụ triệt thoái khỏi đảo Goodenough, Yayoi bị máy bay ném bom B-17 Flying Fortress và B-25 Mitchell của lực lượng Khối Đồng minh thời Chiến tranh thế giới thứ hai tấn công. Bị ngập nước không thể kiểm soát, thuyền trưởng của Yayoi, Thiếu tá Hải quân Shizuka Kajimoto đã ra lệnh bỏ tàu, và nó chìm cách 13 km (8 dặm) về phía Tây Bắc đảo Vakuta ở tọa độ 08°45′N 151°25′Đ / 8,75°N 151,417°Đ / -8.750; 151.417Tọa độ: 08°45′N 151°25′Đ / 8,75°N 151,417°Đ / -8.750; 151.417. Cuộc tấn công cũng đã làm thiệt mạng Tư lệnh Hải đội Khu trục 30, Đại tá Hải quân Shiro Yasutake. Các tàu khu trục Mochizuki và Isokaze đã vớt được 83 người sống sót tại đảo Normanby gần đó.

Yayoi được rút khỏi danh sách Đăng bạ Hải quân vào ngày 20 tháng 10 năm 1942.